9. Esempio di applicazione

I dati di esempio sono registrati nella sottocartella "Esempio" in C:\Concord.
Dopo aver attivato Concord è possibile eseguire l'intero sistema di correzione attraverso i seguenti passi:

1. Dalla maschera iniziale scegliere un nuovo progetto.

2. Scegliere o generare una cartella.

ad esempio "prova".

3. Scegliere il tipo di correzione probabilistica e confermare.


 

nella cartella "prova" verranno generati i dataset SAS che verranno utilizzati nelle successive elaborazioni

4. Dalla maschera principale di Concord scegliere definizione variabili


 

Viene mostrata la maschera di gestione delle variabili con tutti i campi vuoti.

5. Da "File" scegliere "Import".


 

6. Selezionare la sottocartella "Esempio" di Concord e scegliere il file VARDOM.dat e poi apri.
 

Vengono caricate e mostrate le variabili.
 

E' possibile vedere tutte le variabili con "View" o selezionandole con il mouse.

7. Da "File" scegliere "Save and exit". Il programma memorizza le variabili a rende possibili ulteriori scelte in "Definizioni" nella maschera principale.

8. Selezionare "Liste".

Il programma mostra la maschera vuota delle liste.

9. Da "File" scegliere import, scegliere la cartella "Esempio" di C:\Concord e il file "STRUTT.dat" e poi "Apri". Viene caricato il file delle liste in OR.

10. Scegliere il file "LISTE.dat" per le liste in "AND".

Dopo l'operazione di "Import" dei file contenenti le liste dalla cartella "Esempio" nella maschera delle liste per l'approccio probabilistico sono mostrate le tre variabili di lista; selezionandole con il mouse è possibile vedere le variabili associate ad ogni variabile lista.

11. Da "File" scegliere "Save and exit". Le liste vengono memorizzate e il programma torna alla maschera iniziale di Concord.

12. Selezionare "Regole".

Viene mostrata la maschera vuote delle regole di incompatibilità.

13. Da "File" scegliere "Import".


 
 

14. Con la stessa procedura seguita per le variabili e le liste selezionare il file "REGOLE.dat" dalla cartella "C:\Concord\Esempio" e caricare le regole di incompatibilità. A fine caricamento le regole verranno mostrate nella listbox "REGOLE".
 

15. Da "File" scegliere "Save and exit"; il programma torna alla maschera iniziale rendendo possibili la funzione per il controllo delle regole.

16. Selezionare "Controllo Regole".

Viene eseguito il programma esterno di controllo come evidenziato dalla maschera SAS.

Al termine dell'esecuzione del programma appare una maschera con un messaggio che evidenzia l'esistenza di un edit ridondante.
In questo caso il messaggio è solo di avvertimento e sblocca le successive funzioni; se invece fosse stato rilevato un errore nel controllo delle regole di incompatibilità le ulteriori funzioni, quali il check dei dati e la derivazione degli edit impliciti, sarebbero stata rese impossibili fino all'eliminazione degli errori e al completamento della fase di controllo.

Un messaggio informa che il programma di controllo è terminato.

17. Selezionare "check dei dati" e "Check".

Nella maschera scegliere dalla cartella "esempio" il file "dati.dat" e poi """Apri".

Viene eseguito il programma esterno di controllo dei dati e al termine mostrati i totali dei dati esatti e dei dati errati

18. Da "File" usciamo con "End" e possiamo vedere la distribuzione degli edit errati.

19. Prima di eseguire la correzione dei dati è necessario eseguire la derivazione degli edit impliciti. Da "Funzioni" scegliamo "Derivazione insieme completo" e "Esegue derivazione".

La derivazione termina con il messaggio:


da cui usciamo con "OK".

20. Passiamo alla fase di correzione dei dati errati selezionando da "Funzioni" la riga del menu a tendina "Correzione dati" e dal menu a bandiera "Imputazione".


 
 

Viene mostrata la maschera per la scelta dei parametri di esecuzione della fase di correzione dei dati.

Lasciamo i parametri impostati di default e da "File" scegliamo "Save and run".
Viene eseguito il programma di correzione che termina mostrando la maschera dei totali dei tipi di imputazione eseguita

Usciamo con "File" e "End" e vediamo la maschera che mostra le variabili imputate e gli edit implicati nella correzione.

Ovviamente è possibile modificare i parametri e rieseguire di nuovo la fase d'imputazione.

Al termine e buon fine della fase di imputazione dei dati errati si rendono possibili le funzioni per le analisi dei risultati.

21. Da "Analisi" scegliere "Tavole di verifica" e viene mostrata la seguente maschera per la selezione delle variabili di accoppiamento dei dati prima e dopo la correzione:

Poiché nessuna variabile individua in modo univoco il singolo record, non è possibile selezionare alcuna variabile tra quelle mostrate. Se osserviamo però i dati notiamo che dal primo al quarto carattere di ogni record è registrato un numero progressivo. Allora posizioniamo il cursore sul primo campo posizione e scriviamo 1 e sul primo campo lunghezza scriviamo 4 e poi da "File" scegliamo "Save and run". Viene eseguita una procedura SAS che termina con un tabulato dal quale è possibile verificare la distribuzione incrociata delle singole variabili imputate. Eventualmente riferirsi al file "tabfreq.html" generato nella cartella "prova".

22. Da "Analisi" scegliendo "Grafici" e "Distribuzione dati" viene mostrata la seguente maschera per la scelta di una variabile e del tipo di grafico ottenendo immediatamente la distribuzione dei dati grezzi e puliti per la variabile selezionata.

Nella maschera seguente è stata scelta la variabile "POSPRO" e il tipo di grafico istogramma a barre verticali.


 

23. Scegliendo invece "Frequenze errori" otteniamo un grafico delle frequenze degli edit espliciti.

A questo punto abbiamo praticamente visto tutte le funzioni dell'approccio probabilistico e possiamo passare alle funzioni di integrazione dall'approccio probabilistico all'approccio deterministico.

24. Tornando dalla maschera principale alla definizione delle regole di incompatibilità vediamo che nel menu a tendina è attiva la funzione "Export (per deterministico)" e selezionandola facciamo eseguire un programma che scrive le regole deterministiche partendo da quelle probabilistiche.

25. Chiudiamo il progetto "prova".

26. Riapriamo il progetto "Prova" con tipo correzione "deterministico".

27. Da "Definizioni" selezioniamo "Variabili"; viene mostrata la maschera per la gestione delle variabili per l'approccio deterministico con elencate le variabili create con la funzione di "Export" dall'approccio probabilistico.

28. Nella maschera di gestione delle variabili da "File" selezioniamo "Save and exit". Il programma memorizza le variabili, rende possibile la scelta di ulteriori definizioni e torna alla maschera iniziale.

29. Da "Definizioni" selezioniamo "Liste"; viene mostrata la maschera per la gestione delle liste per l'approccio deterministico con elencate le variabili di lista con i relativi valori create con la funzione di "Export" dall'approccio probabilistico.

30. Nella maschera di gestione delle liste da "File" selezioniamo "Save and exit". Il programma memorizza le liste e torna alla maschera iniziale.

31. Da "Definizioni" selezioniamo "Regole"; viene mostrata la maschera per la gestione delle regole di incompatibilità per l'approccio deterministico con elencate le regole create con la funzione di "Export" dall'approccio probabilistico.

32. Nella maschera di gestione delle regole di incompatibilità da "File" selezioniamo "Save and exit". Il programma memorizza le regole dopo averle controllate, cosa resa evidente dallo scorrimento della riga nella listbox delle regole, e torna alla maschera iniziale.

33. Da "Definizioni" selezioniamo "Correzioni"; viene mostrata la maschera per la gestione delle regole di correzione per l'approccio deterministico con la listbox delle regole correzioni vuota.

34. Da "File" nella maschera di gestione delle regole di correzione selezioniamo "Import".

Viene mostrata la maschera per la scelta del file da importare. Andare nella cartella "Esempio" e selezionare il file "FDETOUT.dat", come mostrato in figura, e poi "Apri".
 

Vengono caricate tre regole di correzione nella listbox "CORREZIONI" della maschera di gestione delle regole di correzione dell'approccio deterministico.

35. Nella maschera di gestione delle regole di incompatibilità da "File" selezioniamo "Save and exit". Il programma memorizza le regole di correzione dopo averle controllate, cosa si nota dallo scorrimento della riga nella listbox delle correzioni e torna alla maschera iniziale.

36. Nella maschera principale da "Funzioni" selezioniamo "check dei dati" e "Check".

Viene mostrata la finestra, vedi figura seguente, per la scelta del file di dati da controllare.

Scegliere la cartella "Esempio" attivare come "Tipo file" i "data Files [*.dat]", selezionare il primo file dell'elenco "dati.dat." e poi "Apri" oppure doppio click del testo sinistro del mouse sul nome del file.

Viene eseguito il programma di controllo e correzione deterministico.

Al termine dell'esecuzione vengono mostrati i totali dei record letti, esatti, errati e corretti e le regole attivate con relative regole di correzione.

Terminata l'esecuzione del passo di controllo e correzione è possibile controllare i risultati, in modo simile all'approccio probabilistico. I file nella cartella "Prova" sono individuabile dal nome che inizia con "f" come mostrato in figura.
 

Possiamo passare alle correzioni dei dati tramite donatore.

37. Per sfruttare però l'integrazione tra il metodo deterministico e il sistema di correzione tramite donatore prima di chiudere il progetto e riaprirlo con correzioni tramite donatore bisogna ripetere i passi dal punto 33 in poi.

Al punto 33 selezioniamo la definizione "Correzioni" e al punto 34 da "File" eseguiamo l' "Import" dalla cartella "Esempio" del file "FDETOUT.car", attivando come "Tipo file" "*.Files(*.*)", invece del file "FDETOUT.dat", come mostrato nella figura seguente.

Il file "FDETOUT.car" contiene tre regole di correzione che impostano particolari caratteri nelle variabili che devono essere corrette al verificarsi delle regole di incompatibilità. Salvare le correzioni e ripetere la funzione di check dei dati che produrrà ovviamente gli stessi risultati ma con dati corretti in modo diverso.

38. Eseguiti i passi suddetti possiamo chiudere il progetto e riaprirlo scegliendo e confermando il tipo di correzione "Donatore".


 
 

Vengono rese disponibili le definizioni dei vari tipi di variabili.

39. Nella maschera principale scegliamo "Definizioni" e "Variabili".

Viene mostrata la maschera per la gestione delle variabili da correggere con evidenziate le variabili definite nell'approccio deterministico a loro volta importate dal probabilistico.

40. Da "File" selezioniamo "Import" e nella cartella "Esempio" selezioniamo, con doppio click del mouse o con "Apri", il file "DVARDOM.dat". Verranno caricate nella tabella "Variabili da correggere (A)" tre righe riferite alle variabili CAROCC, POSPRO e HADIP.

La stessa cosa poteva farsi con un doppio click sulla relativa variabile nella listbox "VARIABILI" (vedi figura) e scrivendo il carattere relativo nel campo "carattere" di ogni riga dopo averla resa modificabile con doppio click.

Ad operazione conclusa la tabella appare come in figura.
 
 

41. Salviamo le operazioni effettuate sulla tabella da "File" con "Save and exit". Il programma torna alla maschera principale.

42. Ripetiamo la funzione di "Import" nella definizione delle variabili di strato e delle variabili di match selezionando sempre il file "DVARDOM.dat" dalla cartella "Esempio".

43. Definite le tre variabili suddette possiamo procedere al "Controllo parametri donatore" selezionando l'apposita funzione ora attiva.

Viene eseguito il controllo dei parametri e resa eseguibile l'esecuzione della funzione "Donatore" per la correzione dei dati.

44. Selezioniamo la funzione "Donatore" e viene mostrata una maschera nella quale è necessario completare i riferimenti al file dei dati esatti e al file dei dati da correggere.
Per il file dei dati esatti o donatori scegliamo dalla cartella "Prova" il file "fesatti.dat".
Per il file dei dati da correggere scegliamo dalla cartella "Prova" il file "fcorrett.dat". Ambedue i file provengono dal passaggio deterministico precedente.

45. Scelti i due file è possibile poi tramite "Esegui" eseguire i vari step di correzione al termine dei quali verrà mostrata la lista con i dettagli delle correzioni effettuate.